Drift-Constrained Optimization: Only Direction Matters in Fine-Tuning Instruct Models
漂移约束优化：微调指令模型时方向比距离更重要
🧭 LLM 微调 · 漂移约束 · 方向选择 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Nanjing University · University of British Columbia
将微调重构为固定行为漂移预算下的方向选择，用层选择调优逆转 QA-only 失效
📌 工作参考价值（4 点）
- 把「允许的行为漂移」显式作为预算，而不是事后加 KL 惩罚或观察遗忘；在微调电商/搜索/推荐 instruct LLM 时，可先冻结 embedding 与 lm_head，用 anchored KL 评估漂移，避免输出层带来无效分布偏移（论文图6a：训练 lm_head 只增 KL 不提升精度）。
- 层选择方向搜索可采用两段式配置（如 bottom 4 + top 16，冻结中间层）；连续底部长块 b16 效果差。低漂移预算下 split 配置效率更高，高漂移预算下 contiguous 更优。业务上可先跑少量 layer-subset 探针，按 ΔTask/√KL 选方向。
- QA-only/弱监督（如点击、成交标签、无推理过程）微调强 instruct 模型，不要默认全参 SFT；优先试 LoRA 或层选择，可保留通用能力。
- 选出的有效方向（如 b4t16）可作为后续 RL 初始化，RL 增益更大；在排序/Agent 模型做 SFT+RL 时，可固定该层选择策略再进入 RL。